Theo truyền thuyết, Từ Thức quê ở ở Hòa Châu (tức Thanh Hóa bây giờ) trong thời đại nhà Trần, niên hiệu Quang Thái (1388-1398) dưới triều vua Trần Thuận Tông. Ông xuất thân từ con quan nên được bổ nhiệm làm một chức quan nhỏ ở một địa hạt thuộc xứ Kinh Bắc (nay thuộc huyện Tiên Du, Bắc Ninh). Ông có sở thích hay đi ngao du, xem phong cảnh đẹp và làm thơ, còn việc quan thì ông thường bỏ mặc, nên hay bị quan trên quở trách, sau đó Từ Thức xin từ quan.

Truyện cũng cho biết cạnh huyện nhà ông có một ngôi chùa danh tiếng, trong chùa trồng một cây mẫu đơn lớn, đến kỳ hoa nở thì người các nơi đến xem đông rộn rịp, thành một đám hội xem hoa tưng bừng. Đây là địa điểm mà Từ Thức gặp được tiên. Một số ý kiến cho rằng ngôi chùa này chính là chùa Phật Tích.[1]